学习深层分类模型的传统智慧是专注于糟糕的示例，并忽略远离决策边界的良好分类的例子。例如，当具有交叉熵损耗的训练时，具有更高可能性的示例（即，良好的良好示例）在后传播中贡献更小的梯度。然而，我们理论上表明，这种常见的做法阻碍了代表学习，能量优化和利润率的增长。为了抵消这种缺陷，我们建议奖励具有良好的奖励奖励良好的例子，以恢复他们对学习的贡献。这种反例理论上地解决了这三个问题。我们通过直接验证理论结果或通过对不同任务的实体分类，包括图像分类，图形分类和机器翻译。此外，本文表明，由于我们的想法可以解决这三个问题，我们可以处理复杂的情景，例如不平衡的分类，检测，以及在对抗性攻击下的应用。代码可用：https://github.com/lancopku/well-classification-examples-are-underestimated。
translated by 谷歌翻译
There is a key problem in the medical visual question answering task that how to effectively realize the feature fusion of language and medical images with limited datasets. In order to better utilize multi-scale information of medical images, previous methods directly embed the multi-stage visual feature maps as tokens of same size respectively and fuse them with text representation. However, this will cause the confusion of visual features at different stages. To this end, we propose a simple but powerful multi-stage feature fusion method, MF2-MVQA, which stage-wise fuses multi-level visual features with textual semantics. MF2-MVQA achieves the State-Of-The-Art performance on VQA-Med 2019 and VQA-RAD dataset. The results of visualization also verify that our model outperforms previous work.
translated by 谷歌翻译
语义本地化（SELO）是指使用语义信息（例如文本）在大规模遥感（RS）图像中获得最相关位置的任务。作为基于跨模式检索的新兴任务，Selo仅使用字幕级注释来实现语义级检索，这表明了其在统一下游任务方面的巨大潜力。尽管Selo已连续执行，但目前没有系统地探索并分析了这一紧急方向。在本文中，我们彻底研究了这一领域，并根据指标和测试数据提供了完整的基准，以推进SELO任务。首先，基于此任务的特征，我们提出了多个判别评估指标来量化SELO任务的性能。设计的显着面积比例，注意力转移距离和离散的注意距离可用于评估从像素级别和区域级别中产生的SELO图。接下来，为了为SELO任务提供标准评估数据，我们为多样化的，多语义的，多目标语义定位测试集（AIR-SLT）贡献。 AIR-SLT由22个大型RS图像和59个具有不同语义的测试用例组成，旨在为检索模型提供全面的评估。最后，我们详细分析了RS跨模式检索模型的SELO性能，探索不同变量对此任务的影响，并为SELO任务提供了完整的基准测试。我们还建立了一个新的范式来引用RS表达理解，并通过将其与检测和道路提取等任务相结合，证明了Selo在语义中的巨大优势。拟议的评估指标，语义本地化测试集和相应的脚本已在github.com/xiaoyuan1996/semanticlocalizationmetrics上访问。
translated by 谷歌翻译
机器人操作系统（ROS）为涉及生产任务，提高生产力和简化人类运营的各个领域的自动化带来了极大的自动化潜力。但是，ROS高度依赖交流，但缺乏安全的数据共享机制。确保多机器人之间的机密数据交换在多机器人交互中提出了重大挑战。在本文中，我们介绍了Authros，这是一个安全且方便的授权框架，用于ROS节点，具有绝对安全性和基于私人以太坊网络和SM算法的高可用性。据我们所知，Authros是装有ROS的机器人的第一个安全数据共享框架。该框架可以满足ROS节点之间交换机密数据的不可变性和安全性的要求。此外，提出了授权和身份验证的机制，以在没有第三方的情况下进行原子执行以确保值得信赖的数据交换。 SM2密钥交换和SM4授权加密机制均已提出用于数据传输安全性。还实施了数据摘要上传方案，以提高以太坊网络上数据查询和上传的效率。实验结果表明，它可以从6.34ms的800KB加密数据中生成摘要。通过安全分析，Authros实现了安全的数据交换，数据操作检测和节点锻造攻击保护。
translated by 谷歌翻译
时间序列异常检测（TSAD）是一项重要的数据挖掘任务，在物联网时代，许多应用程序。近年来，已经提出了大量基于神经网络的方法，与传统方法相比，在解决各个领域中挑战的TSAD问题方面的性能要好得多。然而，这些深层TSAD方法通常依赖于没有被异常污染的干净训练数据集来学习基础动力学的“正常概况”。这项要求是不平凡的，因为实际上很难提供干净的数据集。此外，如果没有意识到其鲁棒性的意识，则盲目地应用具有潜在污染训练数据的深层TSAD方法可能会在检测阶段引起显着的性能降解。在这项工作中，为了应对这一重要挑战，我们首先使用受污染的培训数据研究常用的深层TSAD方法的鲁棒性，该方法在不保证无异常的训练数据时提供了应用这些方法的指南。此外，我们提出了一种模型不足的方法，该方法可以有效地改善具有潜在污染数据的主流深层TSAD模型的鲁棒性。实验结果表明，我们的方法可以始终防止或减轻广泛使用基准数据集上主流深层TSAD模型的性能下降。
translated by 谷歌翻译
我们提出和分析了一种新颖的统计程序，即创建的Agrasst，以评估可能以明确形式可用的图形生成器的质量。特别是，Agrasst可用于确定学习的图生成过程是否能够生成类似给定输入图的图。受到随机图的Stein运算符的启发，Agrasst的关键思想是基于从图生成器获得的操作员的内核差异的构建。Agrasst可以为图形生成器培训程序提供可解释的批评，并帮助确定可靠的下游任务样品批次。使用Stein的方法，我们为广泛的随机图模型提供了理论保证。我们在两个合成输入图上提供了经验结果，并具有已知的图生成过程，以及对图形最新的（深）生成模型进行训练的现实输入图。
translated by 谷歌翻译
基于深度学习的组织病理学图像分类是帮助医生提高癌症诊断的准确性和迅速性的关键技术。然而，在复杂的手动注释过程中，嘈杂的标签通常是不可避免的，因此误导了分类模型的培训。在这项工作中，我们介绍了一种用于组织病理学图像分类的新型硬样本感知噪声稳健学习方法。为了区分来自有害嘈杂的内容漏洞，我们通过使用样本培训历史来构建一个简单/硬/噪声（EHN）检测模型。然后，我们将EHN集成到自动训练架构中，通过逐渐校正降低噪声速率。通过获得的几乎干净的数据集，我们进一步提出了一种噪声抑制和硬增强（NSHE）方案来训练噪声鲁棒模型。与以前的作品相比，我们的方法可以节省更多清洁样本，并且可以直接应用于实际嘈杂的数据集场景，而无需使用清洁子集。实验结果表明，该方案在合成和现实世界嘈杂的数据集中优于当前最先进的方法。源代码和数据可在https://github.com/bupt-ai-cz/hsa-nrl/处获得。
translated by 谷歌翻译
不完美的标签在现实世界数据集中无处不在，严重损害了模型性能。几个最近处理嘈杂标签的有效方法有两个关键步骤：1）将样品分开通过培训丢失，2）使用半监控方法在错误标记的集合中生成样本的伪标签。然而，由于硬样品和噪声之间的类似损失分布，目前的方法总是损害信息性的硬样品。在本文中，我们提出了PGDF（先前引导的去噪框架），通过生成样本的先验知识来学习深层模型来抑制噪声的新框架，这被集成到分割样本步骤和半监督步骤中。我们的框架可以将更多信息性硬清洁样本保存到干净标记的集合中。此外，我们的框架还通过抑制当前伪标签生成方案中的噪声来促进半监控步骤期间伪标签的质量。为了进一步增强硬样品，我们在训练期间在干净的标记集合中重新重量样品。我们使用基于CiFar-10和CiFar-100的合成数据集以及现实世界数据集WebVision和服装1M进行了评估了我们的方法。结果表明了最先进的方法的大量改进。
translated by 谷歌翻译
2021-06-14
现代基于内核的两种样本测试在以适当的学习内核区分复杂的高维分布方面表现出巨大的成功。以前的工作表明，这种内核学习程序成功，假设来自每个分布的相当数量的观察样本。然而，在具有非常有限数量的数据样本的现实方案中，识别足够强大以区分复杂分布的内核可能具有挑战性。我们通过引入Meta二样本测试（M2ST）问题来解决此问题，该问题旨在利用（丰富）相关任务的辅助数据来查找可以快速识别新目标任务的强大测试的算法。我们为此任务提出了两个特定的算法：一种改进基线的通用方案和更具量身定制的方法，这更好地执行。我们提供理论上的理由和经验证据，即我们的拟议的元测试计划直接从稀缺观察开始学习基于内核的测试，并识别此类计划将是成功的。
translated by 谷歌翻译
最近的研究表明，基于自动编码器的模型可以在异常检测任务上实现出色的性能，因为它们以无监督的方式适合复杂数据的能力出色。在这项工作中，我们提出了一种新型的基于自动编码器的模型，称为Stackvae-G，可以显着将效率和解释性带入多元时间序列异常检测。具体而言，我们通过使用权重共生方案的堆叠式重建来利用整个时间序列频道的相似性来减少学习模型的大小，并减轻培训数据中未知噪声的过度拟合。我们还利用图形学习模块来学习稀疏的邻接矩阵，以明确捕获多个时间序列通道之间的稳定相互关系结构，以便对相互关联的通道的可解释模式重建。结合了这两个模块，我们将堆叠式块VAE（变异自动编码器）与GNN（图神经网络）模型进行了多变量时间序列异常检测。我们对三个常用的公共数据集进行了广泛的实验，这表明我们的模型与最先进的模型相当（甚至更好）的性能，同时需要更少的计算和内存成本。此外，我们证明，通过模型学到的邻接矩阵可以准确捕获多个渠道之间的相互关系，并可以为失败诊断应用提供有价值的信息。
translated by 谷歌翻译